面向深度 CTR 预测的最优输入侧维度配置统一框架
🧭 输入侧选择 · 最优传输协调 ★ 深度解读
深圳大学 · McGill University · Shenzhen Technology University
用最优传输协调样本、特征、嵌入单元三层选择,联合配置输入侧信息提升 CTR 模型 AUC
📌 工作参考价值(4 点)
- 在精排 CTR 模型上,不要只做单层优化:样本去噪、特征 gate、embedding 维度裁剪可共享一个信息路径联合搜索;采样保留比例约束 + 细粒度稀疏正则能防止搜索坍缩。
- 借鉴 search-and-retrain:搜索阶段用连续 gate/soft mask 学习配置,结束后硬化为 lookup table 再重训 backbone;线上推理只增加 mask 查表,无额外打分开销。
- 跨粒度选择冲突可用 selection-weighted Optimal Transport 协调:粗粒度选择作为总质量,细粒度归一化分配,用 cosine 表示不相似度作为运输成本;比直接对 mask 做 cosine/KL 有稳定提升。
- 样本 selector 只用于构造 retrain 集,不参与 serving,业务上可安全地用样本级去噪提升训练质量而不担心线上延迟。
OnTrack:流式结构感知最优传输用于 LLM Agent 轨迹实时监控与干预
🧭 Agent 实时轨迹监控与干预 ★ 深度解读
Cribl AI Research Lab
将 Agent 执行轨迹建模为增长 DAG,用流式结构感知最优传输与成功参考实时对齐,毫秒级识别失败前兆并提前中止
📌 工作参考价值(4 点)
- 对电商/广告投放 Agent 中的不可逆操作(改价、发券、退款、删记录)增加一个预执行门:用工具 schema 标注可逆性,执行前同步检查必需的前置产物是否存在,并可选地与历史成功轨迹做一次提案对齐;成本远低于 LLM-as-judge,且可实时阻断。
- 监控能力按可用信息分层降级:无参考时仍可检测 loop/stall(重复工具调用但无新信息);有成功轨迹时将轨迹建成 DAG 做结构感知 OT 对齐,能发现因果倒置/幻觉分支;参考轨迹按来源分级(gold/mined 可自动干预,planner 生成只警告),避免误杀。
- 在线部署轨迹对齐时不要每步重算 OT:维护 warm-start coupling,每事件只做一次 Sinkhorn/条件梯度迭代,仅当需要干预时才跑收敛解,可将单步延迟压到 1ms 级;这对实时监控 Agent 链路可复用。
- 干预策略不要用 naive 的首次 flag 即 abort,而应使用 severe flag 密度 + 滚动窗口阈值;论文显示首次 flag 误杀率接近 99%。部署前需要在 held-out 流量上标定阈值,并验证 false stop 率。
双引导层次边缘定位求解跨维度大规模最优传输
🧭 大规模最优传输优化算法
提出 HELLO 层次求解器,以对偶势引导边缘定位,实现大规模离散 OT 的线性内存和数量级加速,并证明有限终止到全局最优。
📌 工作参考价值(4 点)
- 在电商/推荐中,跨域用户/物品 embedding 对齐、域适应、分布校准等常需大规模 OT,HELLO 提供可扩展到百万样本、高维特征的求解器,可直接替换 Sinkhorn 等正则化方法,获得更精确的非正则 OT 解,适合对精度要求高的场景。
- 层次粗到细 + 对偶引导边定位的思想可迁移到大规模稀疏匹配问题(如用户-商品候选匹配、跨平台实体对齐),不必显式计算全对全代价矩阵,仅维护候选边集合,从而把内存降到线性,适合在线或近线系统。
- 细化阶段按行/列插入最大对偶违反者、用 KKT 残差作为停止准则和 budgeted pruning,为工程实现提供可控精度与内存的模板,可用于对偶上升、列生成等算法的优化。
- 作为 balanced-OT oracle,可直接支持 Flow Matching 生成模型(如电商素材生成、用户序列生成)和 Gromov-Wasserstein 对齐,降低底层 OT 瓶颈;业务中若已有 OT 组件,可考虑集成 HELLO 提升规模。
DIRECTOR:动态索引生成与传输优化检索的平行重排框架
🧭 生成式重排 · 最优传输 ★ 深度解读
University of Science & Technology of China · Kuaishou Technology
用连续动态索引替代逐位自回归,通过最优传输耦合实现无重复、全局协调的平行重排。
📌 工作参考价值(4 点)
- 将候选物品与输出位置映射到同一隐空间,生成连续检索索引(dynamic retrieval indices),再通过全局硬匹配(矩形指派)直接输出无重复 slate,可避开自回归解码的串行依赖与 prefix 剪枝风险,工程部署中可将 proposal 生成并行化。
- 训练时采用熵正则化最优传输(capacity-constrained soft transport)作为可微代理,联合所有位置的分配进行冲突感知监督,推导时使用 Bregman-Dykstra 算法快速求解;推理时仅需一次相似度矩阵计算并执行标准指派,兼顾效果与低延迟。
- 针对只有整 slate 标量反馈的黑盒 Evaluator,提出“prefix-anchored pathwise credit”:沿一条保留有效性的交换路径逐步替换位置,把全局奖励差分解为每个位置的特异优势,提供细粒度训练信号,适合工业场景中无法获取梯度或内部评分的 listwise 评估器。
- 在快手短视 feed 线上真实流量对比中,DIRECTOR 相比自回归 + Beam Search 基线在同等延迟约束下降低 66.7% 的 CPU 消耗,且 vv 提升 0.519%,证明平行重排在大规模服务中的效率与效果优势。
通过测试时提示自适应增强视觉-语言模型鲁棒性
🧭 测试时自适应 · 多模态对齐 · 对抗鲁棒性
National University of Singapore · University of Science and Technology of China · The Hong Kong University of Science and Technology
提出分布级最优传输对齐与动态缓存的测试时提示适应方法,大幅提升VLM对抗鲁棒性且无损清洁性能
📌 工作参考价值(4 点)
- 测试时适应思想可迁移至搜索推荐系统的在线学习:当数据分布因季节、事件或对抗攻击发生偏移,借鉴RITA的分布级对齐而非样本级校正,提升模型鲁棒性。
- 多模态推荐中视觉与文本特征对齐是关键瓶颈:最优传输(Optimal Transport)的分布匹配方法可直接用于对齐商品图像与标题(或用户评论)的特征空间,缓解语义错位。
- 动态缓存(dynamic cache)累积可靠测试样本的思路适合电商推荐的高频流式更新:设计信任度阈值,仅将高质量预测样本加入缓存,逐步优化提示或轻量适配器,实现低延迟在线进化。
- 增强视图(augmented views)保留语义完整性的观察可启发搜索推荐中的“多视图”特征利用:例如同一商品的不同角度、背景,通过分布视角聚合来抵抗图像噪声或恶意对抗样本。
通过正无标签学习量化与审计 LLM 评估
🧭 LLM评估校准与偏置校正
Georgia State University · University of Manitoba
将选择性人工监督下的 LLM 评估建模为正无标签学习,通过部分最优传输几何对齐纠正裁判偏差
📌 工作参考价值(4 点)
- 当用 LLM 做推荐理由/对话质量等主观评估时,可利用少量人工“好”样本(正例)通过部分最优传输自动找出嵌入空间中与人类偏好一致的未标注样本,无需大规模重标。
- 该方法不重新训练 LLM 裁判,仅通过几何对齐修正评分,适合线上部署时快速校准频繁出现的冗长偏差等系统性偏置。
- 输出的可解释置信度估计可直接用于过滤低质量评估结果,减少误判对线上推荐系统的影响。
- 可直接套用现有嵌入模型(如sentence embedding),只需构建正样本集合,即可运行审计流程,成本低、工程改造成本小。